"""
1什么是爬虫
n: 名词 网络蜘蛛 网络机器人 web spider
v: 通过模拟真实用户 向服务器(发送请求)>>获取响应(爬取服务器的数据)>>数据清洗（提取数据）

爬虫的本质 ：可见皆可爬

重点 ：能否获取到真实的数据 》》》服务器会识别你是不是一个真实的用户     甚至会返回假的数据

有什么用》能做什么
能不能爬取vip视频
为了不开腾讯，奇艺，优酷会员才学爬虫的
你得有vip身份才能爬取vip数据      间接性的实现  切换的播放源
http协议   cookie

数据分析师？大数据 工作 分析数据
数据从哪儿来？
抖音 （黑丝  牛仔紧身 ）  地理位置  麦克风  对着麦克风
接单  考核



爬虫不是易事
scrapy框架 高并发的爬虫框架 对网站进行搜刮
（反扒）检测你的ip访问次数过多  封禁ip   需要验证码识别
(反反爬) 换上ip  动态ip（网上pay） ip池

（反扒）user-agent 用户代理      通过浏览器 浏览器身份访问次数过多给出限制
（反反爬） 写用户代理池子


"""














